Độ phân giải của một hệ quang học là khả năng phân biệt các điểm không gian, được định nghĩa bằng khoảng cách giữa hai điểm gần nhau nhất có thể phân biệt được nhờ hệ quang học này. Độ phân giải của kính hiển vi quang học bị quy định bởi khả năng phân giải của các thấu kính, mà ở đây bị giới hạn bởi hiện tượng nhiễu xạ ánh sáng. Độ phân giải của kính hiển vi quang học sẽ bị giới hạn bởi bước sóng ánh sáng khả kiến và chỉ số khẩu độ:

d = λ 2 N A {\displaystyle d={\frac {\lambda }{2NA}}}

với λ {\displaystyle \lambda } là bước sóng ánh sáng, NA là thông số khẩu độ. Vì thế, độ phân giải của các kính hiển vi quang học tốt nhất chỉ vào khoảng vài trăm nm. Ví dụ với hệ kính sử dụng ánh sáng xanh (λ = 550 nm), chỉ số khẩu độ đối với không khí là 0,95 hoặc có thể đạt cao nhất là 1,5 nếu sử dụng dầu. Như vậy, độ phân giải tốt nhất của hệ có thể đạt được khoảng dưới 200 nm. Có nghĩa là những điểm trong khoảng cách này sẽ không thể nào phân biệt được.